Diplomirao je 1968. na katedri za puteve, aerodrome i železnice Građevinskog fakulteta u Beogradu.
Počeo je da radi u „Birou za studije, projektovanje i nadzor građenja ŽTP Beograd“, gde je 1974. postao rukovodilac Sektora za projektovanje.
Za direktora u radnoj organizaciji „Centar za istraživanje i projektovanje“ postavljen je 1977. godine. Taj centar se 1986. ujedinio sa „Zavodom za projektovanje ZJŽ“, a sledeće godine i sa Saobraćajnim institutom i formira se jedinstveno preduzeće „Saobraćajni institut CIP“. Mrkonjić je postao njegov prvi direktor.
Učestvovao je u brojnim projektima u Alžiru, Venecueli, Iraku, Kuvajtu, Kini, Gabonu, Libiji…
Bio je ministar za saobraćaj i veze u Vladi SRJ na čijem je čelu bio Milan Panić, a prethodno je ministarsku funkciju obavljao i u SFRJ – u Vladi Branka Mikulića.
Jedan je od osnivača Socijalističke partije Srbije. U vreme NATO bombardovanja SR Jugoslavije, 1999. godine, postavljen je za direktora Republičke direkcije za obnovu i razvoj.
Krajem oktobra 2000. razrešen je funkcije direktora Saobraćajnog instituta CIP i izabran za predsednika Upravnog odbora tog instituta. Te godine je postao savezni poslanik u Veću republika SRJ, a kasnije je bio poslanik i u parlamentu državne zajednice Srbija i Crna Gora.
Od marta 2004. bio je šef „Aeroinženjeringa“ (Kompanija „Braća Karić“).
U decembru 2006. godine postaje potpredsednik SPS-a, a na tu funkciju je reizabran u decembru 2010. Član je i predsedništva te stranke.
Za poslanika u Skupštini Srbije izabran je 2007. godine, a u tom sazivu je obavljao i funkciju potpredsednika Skupštine.
Na izborima za predsednika Srbije, januara 2008. godine, bio je kandidat SPS-a i osvojio je oko 6 odsto glasova. Od jula 2008. nalazi se na funkciji ministra za infrastrukturu. Početkom marta 2011. godine njegovom resoru je dodata oblast energetike. 2013. smenjen je sa mesta ministra saobraćaja. Poslanički mandat mu je potvrđen 30.avgusta 2013.
U decembru 2009. godine dobio je titulu počasnog doktora nauka Megatrend Univerziteta.
Potpredsednik je Socijalističke partije Srbije i član Izvršnog odbora. Počasni predsednik predsedništva Socijalističke partije Srbije.
Na vanrednim parlamentarnim izborima 24. aprila 2016. godine, ponovo je izabran za narodnog poslanika.
Na redovnim parlamentarnim izborima 2020. godine ponovo je izabran za narodnog poslanika na listi SPS-JS.